Caracterización de la hora valle y aplicabilidad en la red académica española

Las tareas de tipo bulk, actividades de gran coste computacional o transferencias entre centros de datos que implican gran cantidad de datos pero con bajos requisitos de latencia, tienen una incidencia directa en la operación de una red, así como una relevancia muy importante en el coste. Ejemplos de tareas de tipo bulk son distribución de bases de datos, replicación de recursos o backups de seguridad. Cómo planificar tales transferencias a lo largo de un día es un problema que ha recibido mucha atención. Destacan las propuestas que, recientemente, intentan sacarle partido a las peculiaridades del modelo de pago por ancho de banda más habitual, el modelo percentil 95. Transmitiendo por debajo de ese umbral se consiguen descuentos significativos. En este trabajo, definimos el estudio de la hora valle como solución para este problema, pues efectuando dichas transferencias en las horas de menor utilización de una red o subred se consigue disminuir su impacto. Estas ideas han sido puestas en práctica en medidas reales de la red académica española, RedIRIS. Primero, hemos examinado y verificado la integridad de las medidas del sistema de monitorización basado en flujos desplegado en RedIRIS. El estudio ha revelado peculiaridades en las subredes, tanto por fallos en las sondas de toma de medidas como en su propia transmisión o su recolección. Esto ha llevado a seleccionar catorce subredes, analizadas en un periodo de tiempo amplio -seis años-, lo que se traduce en un marcado carácter generalista. A continuación, hemos modelado la hora valle como una variable gaussiana, con objeto de poder comparar el comportamiento de los distintos exportadores, así como predecirla mediante factores externos como el día de la semana, el mes o la condición de día laboral o festivo. De este modo, podemos encontrar un instante óptimo para la realización de este tipo de tareas bulk, tanto en el marco de una única subred como en el caso de una ruta que atraviesa varias de ellas. En concreto para esto último, presentamos distintas alternativas, como el uso de almacenamiento interno en cada salto, un promedio de las distribuciones individuales o la agregación de varios de estos puntos en metanodos.Bulk transfers, defined as activities with high computational cost or transfers between data centers that involve large amounts of data but with low latency requirements, have a direct effect on the performance of a network, as well as a very important significance on its cost. Examples of such bulk tasks are database distribution, resources replication and security backups. How to plan such transfers along the day is an issue that has received much attention, We remark those proposals that recently have proposed to exploit the peculiarities of the 95-th percentile charging model –the most popular in Internet. Such proposals explain how transmitting precisely below the 95 threshold gives significant cost savings. In this work, we define the valley-hour study as a solution to this problem. This is because making such transfers during hours of lower use of a network allows reducing their impact. These ideas have been put into practice in the Spanish Research and Education Network, RedIRIS. First of all, we have examined and verified the integrity of the measurements according to the monitoring system based on NetFlows built on RedIRIS. The study has revealed peculiarities in several points of presences (PoP). Essentially, problems with the probes, the transmission and also with the collection of the measurements. This has led to select fourteen exporters, analyzed during a six-year period, resulting in a strong generalist nature. Then, we have modeled the valley-hour as a Gaussian variable in order to compare the behavior of this feature in different PoPs, and predict it by external factors such as weekday, month or condition of day distinguishing between holiday or working day. Therefore, we can find an optimal moment to perform such bulk tasks, both within a single PoP and a path that cross multiple PoPs. In particular for the latter, we present some alternatives, including the use of internal storage at each PoP, an average of individual distributions or the aggregation of several of these points in meta-nodes

Planificación de transferencias masivas en entornos multi-PoP

Desde los comienzos de la computación, períodos de baja carga han sido aprovechados para programar tareas no interactivas. Hoy en día, entre estas tareas destaca la planificación de transferencias masivas —aquellas transferencias de gran volumen sin exigencias precisas en cuanto a su momento de realización, como pueden ser la distribución de bases de datos o la replicación de recursos o copias de seguridad—, debido a su efecto directo tanto en el rendimiento como en el coste de las redes. A través de una revisión e inspección visual de las curvas de demandas de tráfico de diversos puntos de presencia (PoP), ya sean una red, enlace, ISP o IXP, se hace evidente que los períodos de bajo uso de ancho de banda se producen a primera hora de la mañana, mostrando una apreciable forma convexa en ese momento. Tal observación nos ha llevado a estudiar y modelar el instante cuando tales demandas alcanzan su mínimo, en lo que hemos denominado momento valle como una aproximación al lapso ideal para realizar transferencias masivas. Después de estudiar y modelar escenarios de PoPs individuales buscando homogeneidad temporal y espacial en el fenómeno, así como su extensión a escenarios multi-PoP —metanodos construidos a partir de la agregación de varios PoPs—, se propone un sistema predictor para el momento valle. Esta herramienta funciona como un oráculo para la planificación de transferencias masivas, con diferentes versiones según las escalas de tiempo y el equilibrio deseado entre precisión y complejidad, y tiene en cuenta las diferentes zonas horarias de cada uno de los nodos; por lo tanto, está pensada para redes geodistribuidas. La evaluación del sistema, denominado VTO, ha demostrado su utilidad, con errores inferiores a una hora en la estimación de momentos valle, así como errores en torno al 10% en términos de ancho de banda entre la predicción y el tráfico del valle real. Asimismo, se ha calculado el impacto en el percentil 95 de uso de una red real de efectuar transferencias masivas con VTO, mostrando su mejora frente a un sistema de hora fija.Periods of light load have been employed for the scheduling of non-interactive tasks since the early stages of computing. Nowadays, among such tasks it stands out the scheduling of bulk transfers—i.e., large-volume transfers without a precise timing—such as database distribution, resources replication or backups, given its direct effect on both the performance and billing of networks. Through a review and visual inspection of traffic-demand curves of diverse points of presence (PoP), either a network, link, ISP or IXP, it becomes apparent that low-use periods of bandwidth demands occur at early morning, showing a noticeable convex shape. Such observation conducted us to study and model the time when such demands come to their minimum, on what we have named valley time of a PoP as an approximation to the ideal moment to carry out bulk transfers. After studying and modeling single-PoP scenarios both temporally and spatially seeking homogeneity in the phenomenon, as well as its extension to multi-PoP scenarios or paths—a meta-PoP constructed as the aggregation of several PoPs—, a final predictor system is proposed for the valley time. This tool works as an oracle for scheduling bulk transfers, with different versions according to time scales and the desired trade-off between precision and complexity, and takes into account different time zones; hence, it is intended to serve geodistributed networks. The evaluation of the system, named VTO, has proven its usefulness with errors below an hour on estimating the occurrence of valley times, as well as errors about 10% in terms of bandwidth between the prediction and the actual valley traffic. Likewise, the impact of effecting bulk transfers with VTO on the 95th percentile usage of a real network has been calculated, showing an improvement over a fixed-time system

On the dynamics of valley times and its application to bulk-transfer scheduling

Periods of low load have been used for the scheduling of non-interactive tasks since the early stages of computing. Nowadays, the scheduling of bulk transfers—i.e., large-volume transfers without precise timing, such as database distribution, resources replication or backups—stands out among such tasks, given its direct effect on both the performance and billing of networks. Through visual inspection of traffic-demand curves of diverse points of presence (PoP), either a network, link, Internet service provider or Internet exchange point, it becomes apparent that low-use periods of bandwidth demands occur at early morning, showing a noticeable convex shape. Such observation led us to study and model the time when such demands reach their minimum, on what we have named valley time of a PoP, as an approximation to the ideal moment to carry out bulk transfers. After studying and modeling single-PoP scenarios both temporally and spatially seeking homogeneity in the phenomenon, as well as its extension to multi-PoP scenarios or paths—a meta-PoP constructed as the aggregation of several single PoPs—, we propose a final predictor system for the valley time. This tool works as an oracle for scheduling bulk transfers, with different versions according to time scales and the desired trade-off between precision and complexity. The evaluation of the system, named VTP, has proven its usefulness with errors below an hour on estimating the occurrence of valley times, as well as errors around 10% in terms of bandwidth between the prediction and actual valley trafficThis work has been partially supported by the European Commission under the project H2020 METRO-HAUL (Project ID: 761727